Năm 1954, Hoàng Minh Đạo, thủ trưởng cơ quan tình báo quân sự đã ra chỉ thị tung một số điệp viên chiến lược vào miền Nam để chuẩn bị cho thời kỳ "hậu Hiệp định Genève". Vũ Ngọc Nhạ là một trong số những điệp viên đó.Năm 1955, ông cùng vợ và con gái xuống tàu Hải quân Pháp lẫn vào 1 triệu người Công giáo di cư vào Nam. Bản lý lịch với cái tên mới: Vũ Đình Long, dùng sử dụng khi vào Nam của ông có hầu hết các chi tiết xác thực: sinh ngày 30 tháng 3 năm 1928 tại xã Vũ Hội, Vũ Thư, Thái Bình; tham gia Việt Minh sau ngày Toàn quốc kháng chiến; vào Đảng Cộng sản năm 1947, năm 1951 trở thành Thị ủy viên của thị xã Thái Bình; năm 1952, bất mãn vì bị kỳ thị do gia đình là địa chủ và Công giáo, nên trở về Phát Diệm tham gia "Tổng bộ tự vệ Phát Diệm", một tổ chức chống Cộng do giám mục Lê Hữu Từ và linh mục Hoàng Quỳnh lãnh đạo; giữa năm 1954, sang Pháp, nhưng không lâu lại trở về Hải Phòng và xuống tàu di cư vào Sài Gòn tháng 12 năm 1955.

Sau khi vào Nam, ông cùng gia đình cư trú tại giáo xứ Bình An, không lâu sau chuyển sang sinh sống khu chợ Thị Nghè. Ông xin được một chân đánh máy trong Bộ Công chánh. Trong thời gian này, ông chủ yếu tập trung vào việc xây dựng vỏ bọc an toàn, nên thường xuyên lui tới giáo xứ Bình An và văn phòng Hội cựu tự vệ Công giáo Phát Diệm, qua đó chiếm được cảm tình của linh mục Hoàng Quỳnh và trở thành người giúp việc cho Giám mục Lê Hữu Từ. Cũng trong thời gian này, ông nhận ra được những điểm quan trọng trong mối quan hệ giữa giới Công giáo với chính quyền, yếu tố quan trọng mà về sau được ông sử dụng như một thủ pháp để hoạt động tình báo. Từ khi vào Nam, ông thường dùng các tên gọi như Hai Long, Hai Nhạ, Hai Nhã theo thứ bậc của người miền Nam và ông cũng được linh mục Hoàng Quỳnh đặt một tên gọi riêng là Hoàng Đức Nhã[2].

Tuy vậy, cuối tháng 12 năm 1958, ông bị một nhân viên phản gián của Đoàn Công tác Đặc biệt miền Trung, tên là Nguyễn Tư Thái (tự Thái đen)[3] nhận diện nhưng ông vẫn hoạt động tại vùng Thái Bình cho đến từ cuối năm 1952. Vì lý do này, ông bị Đoàn Công tác Đặc biệt miền Trung bắt giữ và bị giam để chờ xác minh tại trại giam Tòa Khâm, Huế. Do công tác chuẩn bị tốt, do sự vận động của linh mục Hoàng Quỳnh, cộng với sự may mắn, ông không bị kết tội vì không đủ hồ sơ, nhưng vẫn bị giam giữ một cách không chính thức đến tận giữa năm 1961.